消除自引和组内互引，新的论文评价体系能否带来真正公平？

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

两位欧洲核子研究中心的理论物理学家从谷歌的搜索页中获得灵感，试图开发一个新算法以更好地评价科学家及他们的工作。在arXiv最近发表的一项研究中，Alessandro Strumia和Riccardo Torre提出了使用谷歌的PageRank算法原理的新指标，该算法之前主要用于决定网页在搜索结果中的显示顺序。

图片来自网络

如今，生产率指数，例如H因子等越来越成为研究基金申请，学术工作评价的一部分。提出新指标的两位物理学家认为他们关于综合指数的提议将改善这些评价，但是也有其他研究人员对其透明度表示担忧。

许多研究工作者都在致力于找到一个能够综合评测学者研究工作的指标，Strumia和Torre只是其中的两个。Torre说：“因为如今作者和论文的数量越来越巨大，实现文献计量评估是非常重要的。”现有的评价体系过于简单而存在缺陷，他们担心有的学者会钻空子来提高自己的评价指数，比如不断地自引。

两位物理学家选择了一种依赖于扩大引文定义的方法。传统的计算方法只统计了那些正在被引用的研究工作，但忽略了Strumia和Torre口中的“二次引用”的东西，也就是当你引用某篇文章时，这篇文章其实是引用之前一篇文章的，而之前那篇的引用贡献就被忽略了。

为了能让这些二次引用也发挥价值，Strumia和Torre采用了PaperRank, 一种以所有前引数据为基础的研究影响力评估方法。它与谷歌的PageRank类似，后者通过计算链接到特定网站的网页的数量和质量对网站进行排名。Torre表示，PaperRank展现出真正的价值需要一些时间，随着时间的推移那些二代三代甚至未来的引用被计入其中，其结果才能展现出意义。另一方面，由于PaperRank会评价所有文献中的所有其他相似研究，而不仅仅针对其中一个或几个作者的工作，因此很难钻空子。如果有人做了比你做了更重要的工作，即便你的引用数很高，你得到的贡献值也很小。

此外，并非所有的引用都是平等的，研究人员会更希望得到他们自己研究领域内大牛们的认可。所以Strumia和Torre又创建了AuthorRank，以此来鼓励那些被高引作者所引用的研究人员。

Torre说在现实世界里，当求职者申请某一岗位的时候，雇主会对他递交的文件进行筛查，对这个人的能力进行评估，但出现上百个申请人的时候，这一工作便很艰难。Torre说，他们希望自己提出的评估体系在这一场景中也能发挥作用。AuthorRank在识别评估那些年代已久，未能上线的工作方面也表现十分出色。

为了测试他们的这套指标， Strumia和Torre在拥有70,000多名作者，超过一百万篇论文的在线物理数据库INSPIRE中运行了AuthorRank和PaperRank。AuthorRank的结果显示，Paul Dirac是历史上最具影响力的物理学家。上了名单的，目前还在世并依然投身科研的三位物理学分别是新泽西州普林斯顿高级研究所的Edward Witten，德克萨斯大学奥斯汀分校的诺贝尔奖获得者Steven Weinberg，和荷兰乌特勒支大学的诺贝尔奖获得者Gerard't Hooft。根据PaperRank的计算，Weinberg 1967年关于统一弱电磁力的文章“轻子模型”是在INSPIRE中最有影响力的工作。

Strumia和Torre还对一些最新的论文进行了评测。在自2010年以来发表的研究中，2012年关于黑洞防火墙的论文“Black holes: Complementarity or firewalls?”位居榜首。

而对于近年来蜂拥涌现的各种评价指数比较熟悉的学者们就Strumia和Torre的新指数也意见不一。芬兰赫尔辛基大学的生物学家Justin Flatt说：“这些指标在某些特定情境下非常有用，例如在基础物理学等特定领域为研究人员终身成就做出评价。但在做招聘、推广和资助决策时，我会避免使用它们，特别是对于年轻的研究人员。”

荷兰莱顿大学科学与技术研究中心副主任Ludo Waltman觉得他们的体系非常有意义并且值得探讨。但由于其复杂性，PaperRank和AuthorRank透明度不如简单的基于引用的指标，这意味着可能会产生一些误读。虽然这些指数难以被钻空子，但它们可能会被单独一篇高引论文影响综合结果。

Strumia和Torre还建立了第三个指标CitationCoin，这个指标将消除两个研究人员之间互引的数据。该指数旨在解决过度自引和大型引用联盟的问题，即同组研究人员之间的过度互引。

但是，Flatt说，这样的衡量标准可能会将引用简单地变成一种认可度的标识，而不是“将概念，技术和进步联系在一起”的工具。Flatt自己也开发过一个针对自引做法的指标，他认为 “自引和非自引都很重要，只要它们来自协作，持续，前沿的工作”。

点击左下角“阅读原文 ”查看论文原文。

扩展阅读

 

本文系网易新闻·网易号“各有态度”特色内容

媒体转载联系授权请看下方